Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners
聆听向前：下一 Patch 嵌入预测实现可扩展音频学习器
🧭 自监督音频表征 · 下一 patch 预测
Imperial College London · University of Surrey
用因果 Transformer 预测下一 patch embedding，极简自监督在音频任务达到 SOTA
📌 工作参考价值（4 点）
- 用户行为序列预训练可借鉴 NAPE 的「下一 embedding 预测」：将行为序列切块后，用因果 Transformer 预测下一步用户/item embedding，配合 stop-gradient 避免表征坍塌，无需构建离散 Semantic ID 或重建 item 特征，大幅降低工程复杂度。
- 现有推荐 SSL 常依赖对比学习+掩码重建+teacher-student 等多重目标，NAPE 证明仅自回归前向预测 + stop-gradient 即可学出强表征，可作为轻量预训练 baseline，减少超参调优和训练成本。
- 因果掩码天然适配流式增量训练，适合电商/广告的实时序列建模；同时自回归预测下一 embedding 可直接作为在线学习辅助任务，无需等待完整序列即可更新表征。
- log-mel patch 切分思路可迁移到商品多模态序列（如短视频帧、商品描述片段），统一用预测下一 patch embedding 做跨模态预训练，简化多模态对齐流程。